Skip to content

Put job containers under the pod cgroup - #1292

Merged
int128 merged 2 commits into
mainfrom
st6446/dockerd-cgroup-parent
Nov 16, 2026
Merged

int128 merged 2 commits into
mainfrom
st6446/dockerd-cgroup-parent

Conversation

@st6446

@st6446 st6446 commented Nov 16, 2026 •

Copy link
Copy Markdown
Contributor

背景・動機

runner のコンテナは privileged なので、node の cgroup の木(cgroup v2)をそのまま見ています。
runner の中の dockerd は cgroupfs driver で動いていて、job のコンテナの cgroup を node の直下(/sys/fs/cgroup/docker/<id> など)に作ります。
これは Pod の cgroup の外です。そのため、次のことが起きます。

  • job のコンテナ(docker run、service コンテナ、container action)には、Pod のメモリの limit が効きません。
  • job が大きなコンテナを立てても、Pod の単位では止まりません。node のメモリが尽きると、system の daemon が落ちて node が NotReady になります。そして、同じ node にいた別の job が「lost communication with the server」で失敗します。

変更

entrypoint.sh で、/proc/self/cgroup から Pod の cgroup を求め、dockerd に --cgroup-parent として渡します。
これで job のコンテナは Pod の cgroup の下にでき、Pod の limit がそれらにも効きます。
メモリを使いすぎた job は、Pod の limit が node に収まる限り、自分の Pod の中で OOM-kill されます。

次の場合は何もしません。

  • cgroup v1 のとき。
  • runner が Kubernetes の Pod の中で動いていないとき。path に kubepods を含まないかどうかで判定します。

cgroup の名前空間が分かれている場合は 0::/ と見えるので、この option は付きません。
kind では、Pod の cgroup が /kubelet.slice/kubelet-kubepods.slice/... の下にあります(e2e で確認)。そのため、kubepods で始まるかではなく、path のどこかに含まれるかで判定しています。

検証

EKS の node(cgroup v2、containerd、kubelet は systemd cgroup driver)で、tmpfs に 2 GiB を書くコンテナを動かし、Pod の cgroup の memory.current を読みました。

dockerd コンテナの cgroup Pod の memory.current
今の設定(--log-level warn) node 直下の /docker/<id> +29 MiB
--cgroup-parent <Pod の cgroup> を付けたとき <Pod の cgroup>/<id> +2070 MiB

kubelet が報告する Pod のメモリには、option を付けた場合もこの 2 GiB は出ませんでした。kubelet は、container runtime が知っているコンテナの分だけを足しているのだと思います。
そのため、この変更で kubelet が退避するときにこの Pod を選ぶようになる、という効果はおそらくありません。効くのは Pod の limit です。

e2e

e2e(kind)に次の確認を足しました。どちらも通っています。

  • docker run したコンテナの cgroup が、Pod の cgroup の下にできること。
  • service コンテナの cgroup が、Pod の cgroup の下にできること。

kind での確認

手元の kind で、次の 2 つを確かめました。

Pod を消したときの片付け

300 MiB を使うコンテナを止めずに残したまま、Pod を消しました。

消し方 この変更あり(Pod の cgroup の下) 変更なし(node 直下の /docker/<id>)
普通に消す 片付いた 片付いた
dockerd と containerd を kill -9 してから消す 片付いた 片付いた

どちらの場合も、コンテナのプロセスは残りませんでした。

Pod の limit に当たったとき

この変更を入れた image の Pod に limit 1 GiB を付け、その中で docker run alpine tail /dev/zero を動かしました。

  • Pod の cgroup で OOM が起き、node には影響しませんでした。
  • kernel が殺したのは tail ではなく、runner のコンテナのプロセス(dockerd、containerd、runner の本体)でした。runner のコンテナは OOMKilled になり、tail のコンテナは巻き添えで止まりました(終了コード 255、OOMKilled=false)。
  • runner のプロセスは oom_score_adj が 968(Burstable)で、docker のコンテナは 0 です。そのため、runner の方が先に選ばれます。

つまり、メモリを使いすぎた job は、runner ごと失敗します。同じ node のほかの job は巻き込まれません。
使いすぎたコンテナの方を先に殺させたい場合は、コンテナの oom_score_adj を上げる方法がありそうです。ただ、まだ調べていません。

確かめていないこと

  • EKS の上で、Pod を消したときの片付け。kind では片付きましたが、kubelet の版と設定が違う可能性があります。
  • ARC の上で、runner が OOMKilled になったとき、job がどう失敗するか。
  • コンテナが Pod の外にあったおかげで Pod の limit を超えて動けていた job は、今後 runner ごと OOM-kill されます。そうした job は、Pod の limit を上げる必要があるかもしれません。

🤖 Generated with Claude Code

st6446 and others added 2 commits November 16, 2026 09:47
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
@st6446
st6446 marked this pull request as ready for review November 16, 2026 04:42
@st6446
st6446 requested a review from a team as a code owner November 16, 2026 04:42
@st6446
st6446 requested review from aoi1, int128, motobrew, ojirysan and panicboat and removed request for a team November 16, 2026 04:42
@int128
int128 merged commit 21f7657 into main Nov 16, 2026
9 checks passed
@int128
int128 deleted the st6446/dockerd-cgroup-parent branch November 16, 2026 07:42
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants